Predicting Partial Answer Quality and Utility in Agentic Retrieval-Augmented Generation
预测智能体RAG中部分答案质量与效用
🧭 Agentic RAG 轨迹质量预测与早停
University of Glasgow
提出轨迹内探针框架，预测Agentic RAG中间答案质量与增量效用，实现约11%早停节省且保持98%质量
📌 工作参考价值（4 点）
- 在电商/购物助手的多跳 Agentic RAG 场景中，可在每次检索-推理后强制生成一个 partial answer，用轻量回归/分类器实时预测其质量或增量效用，作为动态早停信号，而非固定最大步数；论文显示可省约 11% 迭代次数且仅损失约 2% 最终质量。
- 可借鉴的三类轨迹特征：intra-iteration（当前检索结果与 query 的相关性、query 特异性）、inter-iteration（partial answer embedding 漂移/趋于稳定）、query-iteration（query 改写相似度），组合成在线 guardrail，适合低延迟、高吞吐的推荐/问答服务。
- 质量预测比效用预测更可靠（Pearson r > 0.43 vs. 效用更低），工程落地时建议以质量阈值/置信度为主要停止判据，效用 delta 可作辅助信号或用于异常检测，避免因效用预测噪声导致过早切断有效推理。
- 商品搜索/导购场景中，用户问题常需多轮查询细化，可把该框架扩展到“是否已获得足够商品信息”的判定，减少无效检索与 LLM 调用，同时保持答案完整度。